While there have been a number of remarkable breakthroughs in machine learning (ML), much of the focus has been placed on model development. However, to truly realize the potential of machine learning in real-world settings, additional aspects must be considered across the ML pipeline. Data-centric AI is emerging as a unifying paradigm that could enable such reliable end-to-end pipelines. However, this remains a nascent area with no standardized framework to guide practitioners to the necessary data-centric considerations or to communicate the design of data-centric driven ML systems. To address this gap, we propose DC-Check, an actionable checklist-style framework to elicit data-centric considerations at different stages of the ML pipeline: Data, Training, Testing, and Deployment. This data-centric lens on development aims to promote thoughtfulness and transparency prior to system development. Additionally, we highlight specific data-centric AI challenges and research opportunities. DC-Check is aimed at both practitioners and researchers to guide day-to-day development. As such, to easily engage with and use DC-Check and associated resources, we provide a DC-Check companion website (https://www.vanderschaar-lab.com/dc-check/). The website will also serve as an updated resource as methods and tooling evolve over time.

随着时间的流逝，估计反事实结果有可能通过协助决策者回答“假设”问题来解锁个性化医疗保健。现有的因果推理方法通常考虑观察和治疗决策之间的定期离散时间间隔，因此无法自然地模拟不规则采样的数据，这是实践中的共同环境。为了处理任意观察模式，我们将数据解释为基础连续时间过程中的样本，并建议使用受控微分方程的数学明确地对其潜在轨迹进行建模。这导致了一种新方法，即治疗效果神经控制的微分方程（TE-CDE），该方程可在任何时间点评估潜在的结果。此外，对抗性训练用于调整时间依赖性混杂，这在纵向环境中至关重要，这是常规时间序列中未遇到的额外挑战。为了评估解决此问题的解决方案，我们提出了一个基于肿瘤生长模型的可控仿真环境，以反映出各种临床方案的一系列场景。在所有模拟场景中，TE-CDE始终优于现有方法，并具有不规则采样。

我们对无监督的结构学习感兴趣，特别关注有向的无环图形（DAG）模型。推断这些结构所需的计算通常在变量量中是超指定性的，因为推理需要扫描组合较大的潜在结构空间。也就是说，直到最近允许使用可区分的度量标准搜索此空间，大幅度缩短了搜索时间。尽管该技术（名为Notears）被广泛认为是在DAG-DISCOVERY中的开创性工作，但它承认了一个重要的属性，有利于可怜性：可运输性。在我们的论文中，我们介绍了D型结构，该结构通过新颖的结构和损失功能在发现的结构中恢复可运输性，同时保持完全可区分。由于D型结构仍然可区分，因此可以像以前使用Notears一样轻松地采用我们的方法。在我们的实验中，我们根据边缘准确性和结构锤距离验证了D结构。

对社交媒体上的COVID-19疫苗接种的公众讨论不仅对于解决当前的Covid-19-19大流行，而且对于未来的病原体爆发而言至关重要。我们检查了一个Twitter数据集，其中包含7500万英文推文，讨论2020年3月至2021年3月的Covid-19疫苗接种。我们使用自然语言处理（NLP）技术培训了一种立场检测算法，以将推文分为“反Vax”或“ pro-Vax”或“ Pro-Vax” '，并使用主题建模技术检查话语的主要主题。虽然Pro-Vax推文（3700万）远远超过反VAX推文（1000万），但两种姿态的大多数推文（63％的反VAX和53％的Pro-Vax推文）都来自双稳定的用户，他们都发布了两者在观察期间，亲和反VAX推文。 Pro-Vax推文主要集中在疫苗开发上，而反VAX推文则涵盖了广泛的主题，其中一些主题包括真正的问题，尽管存在很大的虚假性。尽管从相反的角度讨论了这两个立场，但两种立场都是常见的。模因和笑话是最转推消息之一。尽管对反vax话语的两极分化和在线流行的担忧是毫无根据的，但针对虚假的有针对性的反驳很重要。

大型预估计模型（例如GPT-3）取得了显着的性能，在训练过程中暴露于大量数据上。类似地，将如此大型模型提炼成紧凑的模型以进行有效的部署，也需要大量（标记或未标记的）培训数据。在本文中，我们提出了培训高质量紧凑型模型的教师指导培训（TGT）框架，该模型利用了预验证的生成模型获得的知识，同时避免了大量数据的需求。 TGT利用了教师获得基础数据域的良好表示的事实，该事实通常对应于比输入空间要低得多的尺寸歧管。此外，我们可以使用老师通过采样或基于梯度的方法来更有效地探索输入空间。因此，使TGT对于有限的数据或长尾设置特别有吸引力。我们正式在我们的概括范围内正式捕获了所提出的数据域探索的好处。我们发现TGT可以提高几个图像分类基准以及一系列文本分类和检索任务的准确性。

高斯流程提供了一个优雅的框架，用于在功能上指定先验和后验分布。但是，它们在计算上也很昂贵，并且受其协方差函数的表达性限制。我们提出了基于扩散模型的新方法神经扩散过程（NDP），该方法学会了从功能上分布中采样。使用新颖的注意力块，我们可以将随机过程（例如交换性）的属性直接融合到NDP的体系结构中。我们从经验上表明，NDP能够捕获与高斯过程的真正贝叶斯后部接近的功能分布。这可以实现各种下游任务，包括高参数边缘化和贝叶斯优化。

内核选择在确定高斯过程（GP）模型中的性能方面发挥着核心作用，因为所选择的内核在之前的GP下确定了电感偏差和在GP下的功能的先前支持。这项工作解决了为高维GP回归模型构建自定义内核功能的挑战。从最近的深度学习进步中汲取灵感，我们介绍了一个名为Kitt的新方法：通过变压器识别内核识别。 KITT利用基于变压器的架构，以在0.1秒内生成内核建议，这比传统的内核搜索算法快几个数量级。我们使用从已知内核的词汇表中从前线生成的合成数据训练我们的模型。通过利用自我关注机制的性质，KITT能够处理具有任意尺寸的输入的数据集。我们证明，KITT选择的内核会在各种回归基准集合中产生强烈的表现。

高斯工艺（GPS）模型是具有由内核功能控制的电感偏差的功能丰富的分布。通过使用边际似然作为目标优化内核超参数来实现学习。这种称为II类型最大似然（ML-II）的经典方法产生了高参数的点估计，并继续成为培训GPS的默认方法。然而，这种方法在低估预测不确定性并且易于在有许多近似数目时易于过度拟合。此外，基于梯度的优化使ML-II点估计高度易受局部最小值的存在。这项工作提出了一种替代的学习过程，其中核心函数的超参数使用嵌套采样（NS）被边缘化，这是一种非常适合于复杂的多模态分布来采样的技术。我们专注于具有频谱混合物（SM）粒子的回归任务，并发现定量模型不确定性的原则方法导致在一系列合成和基准数据集中的预测性能中的大量收益。在这种情况下，还发现嵌套的抽样在汉密尔顿蒙特卡罗（HMC）上提供了速度优势，广泛认为是基于MCMC推断的金标准。

We propose a simple data augmentation technique that can be applied to standard model-free reinforcement learning algorithms, enabling robust learning directly from pixels without the need for auxiliary losses or pre-training. The approach leverages input perturbations commonly used in computer vision tasks to transform input examples, as well as regularizing the value function and policy. Existing model-free approaches, such as Soft Actor-Critic (SAC) [22], are not able to train deep networks effectively from image pixels. However, the addition of our augmentation method dramatically improves SAC's performance, enabling it to reach state-of-the-art performance on the DeepMind control suite, surpassing model-based [23,38,24] methods and recently proposed contrastive learning [50]. Our approach, which we dub DrQ: Data-regularized Q, can be combined with any model-free reinforcement learning algorithm. We further demonstrate this by applying it to DQN [43] and significantly improve its data-efficiency on the Atari 100k [31] benchmark. An implementation can be found at https://sites. google.com/view/data-regularized-q.

In this paper we introduce a generative parametric model capable of producing high quality samples of natural images. Our approach uses a cascade of convolutional networks within a Laplacian pyramid framework to generate images in a coarse-to-fine fashion. At each level of the pyramid, a separate generative convnet model is trained using the Generative Adversarial Nets (GAN) approach [10]. Samples drawn from our model are of significantly higher quality than alternate approaches. In a quantitative assessment by human evaluators, our CIFAR10 samples were mistaken for real images around 40% of the time, compared to 10% for samples drawn from a GAN baseline model. We also show samples from models trained on the higher resolution images of the LSUN scene dataset. * denotes equal contribution.